O quinto problema de Hilbert é um problema matemático da lista de problemas proposta em 1900 pelo matemático David Hilbert.

A proposta original de Hilbert era:

Desenvolver uma teoria dos grupos contínuos de transformações sem assumir a hipótese de diferenciação nas funções que definem o grupo

A teoria dos grupos contínuos de transformações, em nomenclatura moderna, é a teoria dos grupos de Lie.

Um grupo de Lie é um objeto matemático G dotado tanto de uma estrutura de grupo quanto de superfície, em que a operação de multiplicação do grupo é suave. Exemplos de grupos de Lie são o espaço euclidiano real com a operação de soma ${\displaystyle (\mathbb {R} ^{n},+)\,}$, o círculo S¹, o toro Tⁿ = S¹ x ... x S¹, o espaço das matrizes inversíveis nxn em ${\displaystyle \mathbb {R} \,}$ ou ${\displaystyle \mathbb {C} \,}$ Gl(n, F), e o espaço das isometrias em três dimensões E₃.

O nome grupo de Lie faz referência ao matemático norueguês Sophus Lie (1842-1899) que estudou, no final do século XIX, sistemas de equações diferenciais, em particular transformações do espaço euclidiano real definidas por equações diferencias e como a composição destas transformações se relacionava ao par original de uma forma diferenciável. A noção abstrata de um grupo de Lie foi se desenvolvendo de forma gradual, até ser estabelecida por Mayer e Thomas em 1935.

O quinto problema de Hilbert tinha uma resposta negativa, porém, com alguns ajustes, torna-se possível dar uma resposta. Conforme disse Andrew Gleason:

Muitos matemáticos não estão cientes de que o problema, como proposto por Hilbert, não é o problema que vem sendo chamado de quinto problema de Hilbert. Foi mostrado bem cedo que o que ele estava propondo às pessoas era falso. Ele perguntou se a ação de um grupo localmente euclidiano sobre uma superfície era sempre analítica, o que é falso... É preciso mudar a questão consideravelmente para chegar à pergunta que ele estava interessado em saber se era verdade. Eu acho que isto é interessante. É também parte de como a teoria matemática se desenvolve. As pessoas tem ideias sobre como as coisas devem ser, e propõem isto como questões a serem trabalhadas, mas depois isto não se mostra válido.

Quando se tornou clara a noção de um grupo topológico, o quinto problema passou a ser entendido como a seguinte questão:

É possível introduzir coordenadas analíticas (ou seja, coordenadas em que a regra de multiplicação é dada por funções analíticas) em alguma vizinhança da identidade de um grupo localmente euclidiano?

Esta formulação torna o problema mais concreto, mas também o restringe, pois não considera todos os grupos de transformações.

O resultado final, após passos fundamentais dados por von Neumann, Pontryagin, Chevalley e Mal'cev, foi dado por Gleason, Montgomery e Zippin em 1952, e estendido no ano seguinte por Yamabe. John von Neumann, em 1933, resolveu o problema para grupos compactos, Lev Pontryagin resolveu no ano seguinte o caso de grupos comutativos, Chevaley, em 1941 resolveu para grupos solúveis e Mal'cev, em 1946, para grupos solúveis conexos e localmente compactos. A resolução final veio com o trabalho de Andrew Gleason, Deane Montgomery e Leo Zippin, e em 1953 Hidehiko Yamabe obteve a resposta final para o quinto problema de Hilbert.

Junto com o trabalho de Iwasawa, pode-se afirmar:

Para todo grupo G localmente compacto e toda vizinhança U da identidade, existe uma vizinhança da identidade V contida em U que é resultado do produto direto de um grupo de Lie localmente conexo L e um grupo compacto. Além disto, se G não for totalmente desconexo, então a vizinhança V pode ser escolhida tal que em toda decomposição desta forma o grupo local de Lie L tem dimensão positiva.